作为一种广泛使用的弱监督学习计划,现代多重实例学习(MIL)模型在袋子级别上实现了竞争性能。但是,实例级别的预测对于许多重要的应用至关重要,在很大程度上不令人满意。我们建议进行新颖的活跃的深层实例学习,以对注释的一小部分信息实例进行样本,以显着提高实例级别的预测。差异正规损耗函数旨在正确地平衡实例级预测的偏差和差异,旨在有效地适应MIL和其他基本挑战中高度不平衡的实例分布。我们不是直接最大程度地减少非凸的正规损失,而是优化了分布稳健的袋子水平的可能性作为其凸代替代物。强大的袋子的可能性可以很好地近似基于方差的MIL损失,并具有强大的理论保证。它还可以自动平衡偏见和差异,从而有效地确定支持主动采样的潜在积极实例。强大的袋子可能性可以自然地与深度建筑一起融合,以支持深层模型训练,使用小批量的正面袋对。最后,开发了一种新型的P-F采样函数,该功能结合了概率向量和预测实例分数,通过优化健壮的袋子可能性获得。通过利用关键的MIL假设,采样函数可以探索最具挑战性的袋子,并有效地检测其积极的注释实例,从而显着改善了实例级别的预测。通过多个现实世界数据集进行的实验清楚地证明了该模型实现的最新实例级别的预测。
translated by 谷歌翻译
基于细粒的草图的图像检索(FG-SBIR)旨在找到来自给定查询草图的大型画廊的特定图像。尽管FG-SBIR在许多关键域中进行了广泛适用性(例如,犯罪活动跟踪),但现有的方法仍然遭受低精度,同时对外部噪声敏感,例如草图中不必要的笔画。在更实际的在飞行环境下,检索性能将进一步恶化,其中仅具有少数(噪声)笔划的部分完整的草图可用于检索相应的图像。我们提出了一种新颖的框架,利用了一个独特设计的深度加强学习模型,该模型执行双层探索,以处理部分素描训练和注意区域选择。通过对模型的注意力对原始草图的重要地区实施,对不必要的行程噪声仍然坚固,并通过大边距提高检索准确性。为了充分探索部分草图并找到要参加的重要区域,该模型在调整控制本地探索的定位器网络的标准偏差项时,该模型对全局探索进行引导策略梯度。培训过程是由混合损失引导的,融合了强化损失和监督损失。开发了一种动态排名奖励,以使用部分草图来适应随机图像检索过程。在三个公共数据集上执行的广泛实验表明,我们的建议方法在部分草图基于图像检索上实现了最先进的性能。
translated by 谷歌翻译
The circular coordinates algorithm of de Silva, Morozov, and Vejdemo-Johansson takes as input a dataset together with a cohomology class representing a $1$-dimensional hole in the data; the output is a map from the data into the circle that captures this hole, and that is of minimum energy in a suitable sense. However, when applied to several cohomology classes, the output circle-valued maps can be "geometrically correlated" even if the chosen cohomology classes are linearly independent. It is shown in the original work that less correlated maps can be obtained with suitable integer linear combinations of the cohomology classes, with the linear combinations being chosen by inspection. In this paper, we identify a formal notion of geometric correlation between circle-valued maps which, in the Riemannian manifold case, corresponds to the Dirichlet form, a bilinear form derived from the Dirichlet energy. We describe a systematic procedure for constructing low energy torus-valued maps on data, starting from a set of linearly independent cohomology classes. We showcase our procedure with computational examples. Our main algorithm is based on the Lenstra--Lenstra--Lov\'asz algorithm from computational number theory.
translated by 谷歌翻译
基于网络形态的神经体系结构搜索(NAS)是最有效的方法之一,但是,知道何时何地添加新的神经元或删除非功能功能的方法通常留给黑盒增强学习模型。在本文中,我们提出了一种新的基于网络形态的NAS,称为NOISY启发式NAS,该NAS使用了从手动开发神经网络模型中学到的启发式方法,并受到生物神经元动力学的启发。首先,我们随机添加新的神经元,并修剪一些神经元,以选择最佳的合身神经元。其次,我们使用隐藏单元与输入输出连接数的关系控制网络中的层数。我们的方法可以在线增加或降低模型的容量或非线性,该模型由用户指定了一些元参数。我们的方法在玩具数据集以及MNIST,CIFAR-10和CIFAR-100等实际数据集上概括了。性能与具有相似参数的手工设计架构Resnet-18相当。
translated by 谷歌翻译
果树的休眠修剪是维持树木健康和确保高质量果实的重要任务。由于劳动力的可用性降低,修剪是机器人自动化的主要候选者。但是,修剪也代表了机器人的独特困难问题,需要在可变照明条件下以及在复杂的,高度非结构化的环境中进行感知,修剪点的确定和操纵。在本文中,我们介绍了一种用于修剪甜樱桃树的系统(在平面树建筑中,称为直立的果实分支配置),该系统整合了我们先前关于感知和操纵的工作的各种子系统。最终的系统能够完全自主运行,并且需要对环境的最低控制。我们通过在甜蜜的樱桃果园中进行现场试验来验证系统的性能,最终取得了58%的削减速度。尽管不完全稳健,并且需要改善吞吐量,但我们的系统是第一个在果树上运行的系统,并代表了将来可以改进的有用的基础平台。
translated by 谷歌翻译
经典的机器学习范式需要在中心位置汇总用户数据,在该位置,机器学习实践者可以预处理数据,计算功能,调整模型并评估性能。这种方法的优点包括利用高性能硬件(例如GPU)以及机器学习实践者在深度数据分析中进行的能力以提高模型性能。但是,这些优势可能是为了支付数据隐私的费用。收集,汇总并存储在集中式服务器上以进行模型开发。数据集中构成风险,包括内部和外部安全事件的风险增加以及意外数据滥用。具有不同隐私的联合学习旨在通过将ML学习步骤带给用户的设备来避免服务器端集中化陷阱。学习是以联合方式完成的,每个移动设备都在模型的本地副本上运行一个训练循环。来自设备模型的更新通过加密通信和通过差异隐私发送到服务器,以改善全局模型。在此范式中,用户的个人数据仍在其设备上。令人惊讶的是,以这种方式培训模型培训的模型性能差异很小。但是,由于其分布式性质,异质计算环境和缺乏数据可见性,联邦学习带来了许多其他挑战。本文探讨了这些挑战,并概述了我们正在探索和测试的建筑设计解决方案,以在元评估中生产联合学习。
translated by 谷歌翻译
终身学习代理能够不断从潜在的图案感官数据流中学习。以这种方式适应的建筑物的一个主要历史困难是,在新样本中学习时,神经系统难以保留先前获得的知识。这个问题被称为灾难性忘记(干扰),并且在机器域中仍然是当天的机器域中的未解决问题。在几十年中,忘记了前馈网络的背景下,在诸如尊重的自组织地图(SOM)的替代架构中,在替代架构(SOM)的背景下,这是一个常用于任务的无监督的神经模型作为聚类和维度减少。虽然其内部神经元之间的竞争可能具有提高内存保留的可能性,但我们观察到在任务增量数据上培训的固定尺寸SOM培训,即,它以某些时间增量接收与特定类相关的数据点,经历重大遗忘。在这项研究中,我们提出了连续的SOM(C-SOM),一种能够在处理信息时减少自己遗忘的模型。
translated by 谷歌翻译
连接的决策边界用于不同区域,例如图像分割,聚类,α形或在ND空间中定义区域。但是,在机器学习文献中缺乏使用神经网络生成这种连接的决策边界的方法。在探索此类方法时,我们发现可以通过阈值来生成这种决策边界,称为INVEX函数。我们发现INVEX函数与区域和歧管的连接性之间的联系,并将连接性和位置应用于解释ND-DATA空间的基础。在本文中,我们提出了两种使用神经网络构建INVEX函数的方法。第一个是基于直觉开发的,并使用我们的方法(梯度剪辑梯度惩罚)来限制该函数。第二个是基于关于InVex函数与可逆函数组成的关系的稍后发现。使用连接性作为基本解释方法,我们创建基于连接的区域的分类器。我们表明,多个基于集合的分类器可以近似任何分类功能。在“实验”部分中,我们首先将INVEX函数用于回归和分类任务,以可视化2D玩具数据集中的全局最优性和连接设置。此外,我们使用我们的方法使用模型集合以及在大型数据集上使用单个模型进行分类。实验表明,基于连接的基于集合的分类器对普通神经网络分类器没有明显的缺点。我们还评估了INVEX功能和连接集的各种属性。对这项工作的总体探索表明,INVEX功能对于理解和应用输入空间的局部性和连接性至关重要,这对于多个任务有用。
translated by 谷歌翻译